Sau khi Lục quân Pháp thua ở Điện Biên Phủ năm 1954, Hiệp định Genève được ký kết, dẫn đến một nước Việt Nam chia làm đôi. Quốc gia Việt Nam do Pháp hậu thuẫn, với cựu Hoàng đế Bảo Đại lãnh đạo, tạm thời kiểm soát phần phía nam vĩ tuyến thứ 17, còn Việt Minh của Hồ Chí Minh giữ miền bắc với tên gọi Việt Nam Dân chủ Cộng hòa, do Hồ Chí Minh tuyên bố thành lập năm 1945. Hiệp định nói rằng sẽ có các cuộc tổng tuyển cử toàn quốc vào năm 1956 để thống nhất đất nước dưới một chính phủ chung. Tháng 7 năm 1954, trong khoảng thời gian chuyển giao, Bảo Đại bổ nhiệm Diệm làm Thủ tướng Quốc gia Việt Nam.[4]

Ngày 11 tháng 10 năm 1954, Ủy ban Kiểm soát Quốc tế đóng cửa biên giới sau thời gian 300 ngày cho phép đi lại tự do giữa hai nửa Việt Nam. Theo Hiệp định Genève, quân nhân chống cộng buộc phải di cư xuống miền nam, trong khi lực lượng cộng sản tập kết ra bắc. Dân thường được di chuyển tự do đến miền nào họ ưa thích. Trong 300 ngày đó, Diệm và cố vấn CIA, Đại tá Edward Lansdale, tiến hành vận động thuyết phục người dân di cư xuống Việt Nam Cộng hoà. Chiến dịch đặc biệt tập trung thuyết phục tín đồ Công giáo Việt Nam—những người sau này sẽ cho Diệm một nền tảng quyền lực vào những năm sau đó—bằng khẩu hiệu "Chúa đã vào nam". Khoảng 800.000 và 1.000.000 người đã di cư xuống miền nam, hầu hết là tín đồ Công giáo. Đầu năm 1955, Đông Dương thuộc Pháp tan rã, Diệm tạm thời kiểm soát miền nam.[5][6]

Vào thời điểm đó, Diệm không có quyền lực ngoại trừ bên trong cánh cổng dinh thự của mình. Bảo Đại ít tin tưởng ông và ủng hộ ông chút ít—hai người từng xung đột với nhau trong quá khứ, khi Diệm thôi làm Bộ trưởng Nội vụ cho Bảo Đại hai thập kỷ trước đó vì cho rằng nguyên thủ quốc gia yếu ớt và kém cỏi.[7][8] Nhiều sử gia nghĩ rằng Bảo Đại chọn Diệm vì ông có khả năng thu hút ủng hộ và viện trợ từ Mỹ.[9][10] Trong thời gian di cư, Quân đội viễn chinh vùng Viễn Đông của Pháp vẫn còn hiện diện ở miền Nam Việt Nam.[11] Điều này gây căng thẳng giữa Pháp và Quốc gia Việt Nam. Diệm, là một người theo chủ nghĩa dân tộc mãnh liệt, ghét người Pháp, khiến họ cũng ghét lại Diệm, bằng cách mong ông sụp đổ, thậm chí kêu gọi bãi chức ông vào một vài lần.[12][13]

Diệm phải đối mặt với nhiều thách thức quyền lực từ bốn nhóm nữa. Đạo Hòa Hảo và Cao Đài đều có quân đội tư nhân lần lượt kiểm soát Đồng bằng sông Cửu Long và khu vực phía tây Sài Gòn. Bình Xuyên là một nhóm tội phạm vũ trang có tổ chức, kiểm soát nhiều phần Sài Gòn với quân đội tư nhân 40.000 người, trong khi Việt Minh vẫn kiểm soát hầu hết vùng nông thôn. Quân đội Quốc gia Việt Nam (QĐQGVN) của Diệm do Tướng quân Nguyễn Văn Hinh chỉ huy; ông là công dân Pháp ghét Diệm và thường xuyên chống lệnh của Diệm. Bảo Đại bán giấy phép hoạt động của cảnh sát quốc gia cho Bình Xuyên, về mặt cơ bản đã giao quyền quản lý cảnh sát cho tổ chức tội phạm này.[14]

Trong bối cảnh người Pháp và Hoa Kỳ ngày càng nghi ngờ về khả năng cai trị ổn định của ông, Diệm đã chấm dứt sự hoài nghi này vào tháng 4 năm 1955. Ông đã ra lệnh cho Bình Xuyên phải từ bỏ quyền kiểm soát Cảnh sát Quốc gia và phải phục tùng dưới sự chỉ huy của ông bằng cách hợp nhất vào QĐQGVN hoặc giải tán, đe dọa sẽ tiêu diệt họ nếu họ từ chối. Ông đã hối lộ các chỉ huy Hòa Hảo và Cao Đài để gia nhập QĐQGVN, dần dần dẫn đến việc một số chỉ huy và đơn vị của họ đào tẩu, trong khi những người khác tiếp tục lãnh đạo lực lượng của họ chống lại Sài Gòn. Bình Xuyên bất chấp tối hậu thư của Diệm. Ngày 27 tháng 4, QĐQGVN phát động Trận Sài Gòn. Sau một trận chiến ngắn ngủi nhưng dữ dội khiến từ 500 đến 1.000 người chết và khoảng 20.000 người mất nhà cửa, quân Bình Xuyên đã bị tiêu diệt. Diệm đã lấy lại cả niềm tin của Hoa Kỳ và quyền kiểm soát cảnh sát. Đám đông hân hoan đã ca ngợi Diệm và tố cáo Bảo Đại, người đã cố gắng cách chức ông giữa trận chiến để ngăn ông dẹp quân Bình Xuyên.[15] Ngoài ra, Tướng Paul Ely, người đứng đầu quân Pháp tại Việt Nam, đã cố gắng ngăn cản Diệm;[16] quân của ông đã chặn đường ngăn lại QĐQGVN và cung cấp thông tin tình báo cho Bình Xuyên.[17]

Phấn khởi trước những thắng lợi của mình, và được thúc đẩy bởi lòng căm thù ngày càng tăng đối với cả người Pháp và Bảo Đại sau những nỗ lực của họ nhằm ngăn chặn ông ta tiêu diệt Bình Xuyên,[18] Diệm trở nên tự tin hơn khi tiếp tục củng cố quyền lực của mình. Vào ngày 15 tháng 5, Diệm bãi bỏ Đội Cận vệ Hoàng gia của Bảo Đại; 5.000 người này đã trở thành Trung đoàn Bộ binh 11 và 42 của QĐQGVN. Sau đó, Diệm tước đoạt những vùng đất quan địa (lãnh thổ do quân vương sở hữu) rộng lớn của Bảo Đại. Vào ngày 15 tháng 6, Diệm yêu cầu Hội đồng Hoàng gia tại Huế tuyên bố tước bỏ quyền lực của Bảo Đại, và rằng ông, Diệm, sẽ được phong làm tổng thống.[19] Những người thân của Bảo Đại đã lên án ông vì đã thoái vị chức nguyên thủ quốc gia, và vì mối quan hệ của ông với Pháp và Bình Xuyên.[20] Các nhà sử học suy đoán rằng gia đình hoàng gia đã đồng ý lật đổ Bảo Đại để Diệm không tịch thu tài sản của họ.[20]